다시점 영상 및 비디오 정합

• 다시점 영상 정합

영상 정합 기술은 서로 다른 시점의 사진을 이용하여 더 넓은 화각의 영상으로 합성하는 기법이다. 촬영한 공간이 평면으로 표현되지 않거나 카메라간 거리가 큰 경우, 두 영상은 상대적으로 큰 시차를 가지며 일부 물체들이 서로 다른 상대적 위치를 갖게 된다. 이러한 경우, 기존 기법은 영상 합성에 실패하는 모습을 보인다. 본 연구에서는 큰 시차에 강인한 영상 합성 기술을 제안한다. 먼저 두 영상의 특징을 이용하여 다수의 호모그래피를 추정한다. 그리고 각 호모그래피에 대한 특징점 매칭 결과에 warping residual을 계산한다. 큰 시차에 의한 문제를 해결하기 위해 영상을 수퍼픽셀로 분할하고, 각 수퍼픽셀을 warping residual과 특징점 매칭 결과를 이용하여 계산한 최적의 호모그래피를 이용하여 워핑한다. 실험 결과에서 볼 수 있듯, 제안 기법은 큰 시차를 갖는 영상에서도 신뢰성있게 작동하며 기존 기법들과 비교하여 정성비교 및 정량비교 실험 결과에서 우수한 성능을 보인다.

• 다시점 비디오 정합

기존의 사진 및 비디오 정합 기술은 평면에 기반한 워핑 모델을 이용하여 수행되었다. 기존 기술은 큰 시차를 갖거나 거리에 따라 다양한 비-평면 구조를 포함하는 다시점 사진 및 비디오 영상에서 실패하는 경향이 있다. 이 연구에서는 그러한 다시점 비디오에 대한 정합 기술을 개발하였다. 먼저, 영상에서 전경 객체를 배경으로부터 분리하여 등극선 기하를 이용해 워핑하였다. 그 후, 출현 및 활동에 기반한 특징 추출 및 매칭 을 이용하여 지면에 대한 homography, fudamental matrix 및 소실점을 추정한다. 지면에 해당하는 영역은 homography를 이용하여 워핑하며, 그 외의 영역은 그에 대응되는 지면 영역과 위치 정보를 이용하여 워핑한다. 지면 영역을 추정하기 위해 서로 다른 시점 및 프레임 간의 대응점 매칭 정보를 활용하였다. 실험 결과에서는 제안 기술이 기하학적으로 정확한 정합 결과를 보이며 기존 state-of-the-art 영상 정합 기술과 비교하여 월등한 성능을 보인다.

• Publications